Phù Mỹ cũng như Bình Định trước đây thuộc nền văn hóa Sa Huỳnh, sau đó thuộc sứ Việt Thường Thị rồi sau này thuộc về vương quốc Champa.

Năm 1471, sau khi đánh phá Chiêm Thành và mở bờ cõi đến núi Thạch Bi (Phú Yên), vua Lê Thánh Tông đã đặt phủ Phù Ly để cai quản những cư dân Chiêm Thành còn ở lại và những tù nhân hay dân nghèo miền bắc được đưa vào. Sau này qua mấy lần nhập tách thì Phù Ly được chia làm đôi thành Phù Cát và Phù Mỹ lấy dòng sông La Tinh làm ranh giới.

Năm 1939, Phù Mỹ được nâng cấp lên thành cấp phủ, với 6 tổng: An Bình, Bình Thành, Hòa Lạc, Trung Bình, Trung Thành, Vạn Định.

Sau Cách mạng tháng 8-1945, phủ và các tổng ở Phù Mỹ được đặt lại tên theo tên các chiến sĩ yêu nước nổi tiếng ở địa phương. Năm 1946 bỏ cấp tổng, lấy lại tên huyện như cũ, Phù Mỹ lúc này có 37 xã.

Đến cuối năm 1947 đầu năm 1948 dồn lại còn 14 xã: Mỹ Cát, Mỹ Chánh, Mỹ Đức, Mỹ Hiệp, Mỹ Hòa, Mỹ Lộc, Mỹ Lợi, Mỹ Phong, Mỹ Quang, Mỹ Tài, Mỹ Thành, Mỹ Thọ, Mỹ Thắng, Mỹ Trinh.

Trước năm 1975, chính quyền Sài Gòn đổi huyện Phù Mỹ thành quận, đổi thôn thành ấp, điều chỉnh một số địa danh, địa giới hành chính, toàn Phù Mỹ khi ấy có 115 ấp.

Sau năm 1975, lấy lại đơn vị hành chính là huyện, gồm 14 xã: Mỹ Cát, Mỹ Chánh, Mỹ Đức, Mỹ Hiệp, Mỹ Hòa, Mỹ Lộc, Mỹ Lợi, Mỹ Phong, Mỹ Quang, Mỹ Tài, Mỹ Thắng, Mỹ Thành, Mỹ Thọ, Mỹ Trinh.

Ngày 29-10-1983, chia xã Mỹ Thắng thành hai xã lấy tên xã Mỹ Thắng và xã Mỹ An.

Ngày 19-2-1986, chia xã Mỹ Đức thành hai xã lấy tên xã Mỹ Đức và xã Mỹ Châu.

Ngày 14-12-1991, thành lập thị trấn Phù Mỹ - thị trấn huyện lị huyện Phù Mỹ trên cơ sở 303ha diện tích tự nhiên và 4.286 nhân khẩu của xã Mỹ Quang; 317ha diện tích tự nhiên và 2.176 nhân khẩu của xã Mỹ Trinh; 407ha diện tích tự nhiên và 2.515 nhân khẩu của xã Mỹ Hòa.

Ngày 19-4-2002, thành lập thị trấn Bình Dương trên cơ sở 392 ha diện tích tự nhiên và 5.420 nhân khẩu của xã Mỹ Lợi; thành lập xã Mỹ Chánh Tây trên sơ sở 2.640 ha diện tích tự nhiên và 5.297 nhân khẩu của xã Mỹ Chánh.

Hiện nay Phù Mỹ có 2 thị trấn và 17 xã.